Adaptive Learning Rates

Error가 줄어들수록 학습이 잘 되고 있을 것이므로, 그에 따라 적절히 Learning Rate를 조절하는 기법.

Δ η^{t} = {+ a > - b η^{t - 1} if E^{t} < E^{t - 1} otherwise

η^{t} = η^{t - 1} + Δ η^{t}

Error가 작아진다면 학습이 잘 되고 있으므로 Learning Rate를 증가시키고, 아니라면 발산, 진동하는 경우이므로 Learning Rate를 줄여 수렴하도록 한다.

Adaptive Learning rate dependent on past $Δ w$

weights를 전부 graident로 수정하지 않고, weights가 잘 수렴되지 않은 것에 대해서만 weights를 많이 변화하도록 한다.

w^{t + 1} = w^{t} - \frac{η}{ν ^{t}} \frac{\partial E}{\partial w}

$ν^{t}$ 가 0에 가까워질수록, 학습량이 줄어들게 된다.

$ν^{t} = n u^{t - 1} + (\frac{\partial E}{\partial w})^{2}, ν^{0} = 0$

변한 양을 누적시킨다. 누적됨에 따라 $ν^{t}$ 가 커지게 되므로, 많이 변하였다면 학습량이 줄어들게 된다.

$ν^{t} = β ν^{t - 1} + (1 - β) (\frac{\partial E}{\partial w})^{2}$
; $ν^{0} = 0$ , $β = 0.999$

최근 것은 작게, 이전의 것은 최대한 많이 반영 시켜 누적시킨다.